元数据性能大比拼：HDFS vs OSS vs JuiceFS
背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以 Amazon
像写SQL一样去处理内存中的数据，SparkSQL入门教程
像写SQL一样去处理内存中的数据，SparkSQL入门教程
Spark追妻系列(TopN案例和动作算子)
Spark中的TopN案例
大数据看惊天逆转+绝杀，亚洲杯时隔16年夺冠，恭喜女足
这个逆转真的是看得人热泪盈眶，女足姑娘们诠释了真正的足球精神！中国精神！全力以赴，一以贯之！铿锵玫瑰！
【大数据】Hive可视化工具dbeaver
Hive可视化工具dbeaver1、dbeaver基本介绍dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作我们的数据库与数据库表，类似于我们的sqlyog或者navicat。2、下载dbeaver我们可以直接从
DataX 简介及架构原理
DataX 简介及架构原理概述DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具异构数据源：不同存储结构的数据源致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(
【大数据】OLAP架构及技术实现的演进简介
文章目录一、架构分类二、技术演进1、传统关系型数据库时期2、大数据技术时期一、架构分类OLAP名为联机分析，又称多维分析，什么是多维分析，指的是多种不同的维度审视数据，进行深层次分析。进行分析必不可少对数据进行下钻、上卷、切片、切块、旋转等操作，为了更加直观，我们可以使用立方体来表示。下钻：从高层次
客快物流大数据项目(二十五)：初始化业务数据
目录初始化业务数据一、安装OGG源端1、在Oracle中创建OGG相关的用户和表空间2、OGG源端初始化二、配置OGG源端1、Oracle创建物流相关表2、配置管理器MGR进程3、配置extract进程4、配置pump进程5、配置define文件三、配置OG
2022年大数据即将带来的5个重要变化
目录1. 大数据将成为一个外交政策问题2. 大数据优化招聘和培训3. 实时分析维持电子商务4. 数据中毒愈演愈烈5 绿色数据中心的兴起大数据在2022年达到新的高度大数据已经改变了许多行业的运营方式。现在，大流行加速了全球的数字化转型，该领域的增长速度超过了大多数人的预期。这种前所未有的增长无疑将在
ELkStack集群核心概念（一）
ELkStack集群核心概念文章目录ELkStack集群核心概念1.为什么要使用ELk Stack2.ELk Stack核心架构1.为什么要使用ELk StackELK Stack需求背景业务发展越来越庞大、服务器数量越来越多各种访问日志、应用日志、错误日志的数量越来越多开发人员排查问题、需要到服务
数据科学家VS大数据专家VS数据分析师：有什么不同？
经常听到数据科学家、大数据专家、数据分析师，这3个职业乍一听，感觉是一个意思，但实际上，它们是不同的岗位，需要不同的技术，应用到不同的领域。
【如何成为SQL高手】第二关：表记录的插入、更新、删除
第二关：表记录的插入、更新、删除
【如何成为SQL高手】第三关：索引及维护
第三关：索引及维护
【如何成为SQL高手】第四关：完整性约束
第四关：完整性约束
客快物流大数据项目(二十二)：Docker环境中安装软件
Docker环境中安装软件一、安装JDK
Flink消费kafka数据实时写入Clickhouse（java版本）
Flink消费kafka数据实时写入Clickhouse（java版本）
Elastic Search | 记一次Kibana执行ES-DSL脚本实战思考过程
Elastic Search | Kibana执行ES-DSL脚本实战案例
客快物流大数据项目(二十一)：Docker环境初始化
目录Docker环境初始化一、下载oracle11g_centos7镜像二、启动oracle11g_centos7容器三、Docker安装命令四、Docker数据路径初始化五、设置每次启动容器都会重新加载环境变量Docker环境初始化一、下载oracle11g_cento
Spark追妻系列(Spark初了解)
感觉每天又有了希望，又有动力，感觉学习尽头十足Spark是什么Spark是一个用来实现快速而通用的集群计算的平台。在之前，学习了MR，学习了hadoop，用mapreduce来对数据进行处理，但是hadoop是用批处理的，而且还有延迟，况且，出来了Hive，Hive将sql转化为mr算子。可以不用去
女生学大数据好还是计算机好？都适合女生吗？就业前景好吗？
女生学大数据好还是计算机好？都适合女生吗？就业前景好吗？提起理工类专业，特别是工科专业，很多女生都会望而却步，而社会对于女生学工科专业的认可度也比较低。但随着女性职业优势的逐渐展现，这种传统的观念已经逐渐被摒弃，女生同样能选择工科专业。不过，相比较而言，大部分女生在逻辑思维和理科思维方面确实会弱于男
